import torch
# 获取world size，在不同进程里都是一样的，得到16
torch.distributed.get_world_size()
